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Використання адаптивних тест1в 
в 1нтелектуальних системах контролю знань 


У статт! .розглянуто проблеми тестового контролю знань у сучасних навчальних системах. Методики 
та 1нструментарйй класично! теорй теств попри велик! можливост! дано! технологий не вирипують 
багатьох задач, як! ставить сучасний р1вень розвитку осыти. Адаптивн! тести у даному випадку 
дозволяють вирипувати ц! питання 1 можуть бути ефективно використан! для виришення будь-яких 
задач оптимзаци навчального процесу — ощнки ефективност! педагогчних 1нноващй 1 техноломй, 
монторингу 1 т.д. Розглянуто шдхд до конструювання тестйв, представлений в сучасвй теорй 
тестування, на основ! математично! теорй параметрично! ощнки тестових завдань на баз! основних 
сучасних математичних моделей: однопараметрично! модели Раша, двопараметрично! та трипараметрично! 
модел! Брнбаума. 


Вступ 


Адаптивне тестування — р1зновид тестування, при якому порядок представлення 
запитань (або складнасть) залежить в1д в1дпов1дей того, хто тестуеться, на попередн! 
запитання [1], [2]. 

Використання адаптивних тест!в дозволяе: 

— шдлаштовуватися шд 1ндив1дуальн1 можливост! студента — виключаються завдан- 
ня, як! або занадто складн1, або занадто легки; 

— шдвищити точнисть оц!нки р1вня знань сильних 1 слабких студентв завдяки вико- 
ристанню б1льшого банку запитань р1зного р1вня складности!; 

— зменшити тривал!сть тесту 1 юльюксть поставлених запитань, необх!дних для до- 
сягнення достатньо1 точност! ощнки рвня знань студента; 

— знизити стушнь втомленост! студента; 

— забезпечити конф1денщинсть за рахунок надання кожному студентов! 1ндивду- 
ального набору тестових завдань, що вдпов1дають його р1вню знань; 

— спростити процедуру внесення зм1н у банк тестових завдань, як! будуть автома- 
тично врахован! адаптивним алгоритмом. 


1. Адаптивне тестування 1 класична теорля тест1в 


Адаптивне тестування може бути органзовано по-ризному. Найпростипий варант — 
це приписати кожному тестовому запитанню мфу складност1. При правильний в1дпо- 
в1д1 студента наступне запитання буде б1лльш складним, при неправильшй — менш 
складним. Також тестов! запитання можуть бути прив’язан! до певних тем, навчаль- 
них матерталв. Якщо у ход! в1дпов1д1 студент зробить помилку, наступне запитання 
буде з т1Е! теми, яку вн не досить добре знае. Якщо студент правильно в1дпов!сть на 
запитання, йому пропонуеться запитання 3 1ншо1 теми. При адаптивному тестуванн! 
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може використовуватись тимчасова модель студента, в яку заносяться дан! про ус- 
шишнсть студента в поточний момент. Шсля зак!нчення тесту можливе оновлення 


загально! модел1. 


Перехд в1д традищйно1 класично! теорй тест1в до адаптивного тестування в 
практичному план! неминуче пов’язаний з деякими труднощами: 
— з необхдн!стю залучення досить складного математичного апарату; 
— з використанням дорого! комп’ютерно! технки 1 розробки спещальних програм- 


них продукт; 


— з необхдн1стю проведення ретельно! роботи 31 стратифкаци виб1рки випробо- 
вуваних статистик з математичними моделями вимрювання. 
Пор1вняемо класичну теортю тестування 1 теор1ю адаптивного тестування (ВТ) 


(табл. 1): 


Таблиця 1 — Пор1вняння класично] теорий тестування 1 ВТ 


Класична теор1я 


Цет Везроп$е ТВеогу 


Основне завдання тесту: 

Д1знатися значення дйсного бала (Т) учас- 
ника тестування, виходячи 13 результату 
(Х) та з врахуванням помилки вимрю- 
вання (Е). Отримаемо основний постулат 
класично! теорй тестування: Х1 = Т! + Е1. 


Основне завдання тесту: 

Отримати стйку об’ективну ощнку латент- 
ного параметра рувня знань учасника 
тестування з досл1джуваного предмета. 


Можливости: 


Отримати 1нформащю про тест, на шд- 
став! матриц! результатв апробащйного 
тестування, а саме: 

1. Ощнити статистичну складнсть завдань. 


1. Встановлення зв’язку мж патент- 
ними параметрами учасника тестування 1 
спостережуваними результатами вико- 
нання тесту. Розглядаеться взаемодйя двох 
латентних параметрав тесту: равня знань 
учасника тестування 1 складност! завдань. 


2. [нтеркореляшя м!ж завданнями тесту 1 
кореляц1ею бал!в завдань 1 зовнпинього 
критертю (суми балв випробовуваних) для 
визначення валдност! тестових завдань. 


2. Параметри равня знань учасника 
тестування 1 складност! завдань тесту 
в1дображаються в едину шкалу логипв, 
що дозволяе реалзувати 1дею адаптивного 
тестування, коли для кожного випробо- 
вуваного (з конкретним р!внем знань) 
вибирають завдання певно! складност!. 


3. Швидко ощнити яксть тесту на основ1 
графтчного виду криво! розподлу тесто- 
вих балв учасник!в тестування. 


3. Вводиться новий критерий ефектив- 
ност! тесту — 1нформащшйна функщя. 


4. Отримаемо ощнку надйност! результатв 
тестування за допомогою кореляшйного 
анал!зу балв учасникйв тестування. 


4. У Цет Кезропзе 'Теогу реалзована мож- 
ливесть застосування не тильки рейтингово1, 
але й 1нтервально1 шкали, а це означае: 
равень знань учасника тестування можна 
ощнити «юльксно. 


5. Побудувати доврчий 1нтервал, в межах 
якого знаходиться дйсний бал випробо- 
вуваного, або отримати точкову регре- 
сйну ощнку. 
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Ц! адаптивного тестування: 
— ортентащя в навчальному процес! на адаптивн! методи навчання 1 контролю; 
— органйзащя на самостйну роботу учнйв за допомогою адаптивних контрольно- 
навчальних програм; 
— 1ндив1дуал1защя навчання; 
— використання метод1в адаптивного тестування як основи для реаллзацИ мето- 
дик для зб1лльшення продуктивного навчання. 

У технологИ адаптивного тестування можна вид1лити наступн! напрями: 

— розробка 1 створення теоретико-методолог!чного обтрунтування тестування, 
метод1в, алгоритмив 1 засоб1в технологий адаптивного тестування; 

— розробка адаптивного тестування як методу навчання 1 контролю, що е части- 
ною загально! дидактично! системи навчання, що знижуе частку викладацько1 
прац! 1 дозволяе викладачев1 перерозподллити час навчання 1 оптим1зувати нав- 
чальний процес; 

— розробка на баз! адаптивного тестування методологй розвивального, продук- 
тивного навчання 1 1нших педагогчних 1нновашй; 

— розробка методик, направлених на зб1льшення частки самост!йного навчання в 
освйтньому процест; 

— адаптивне тестування як методика для орган1заци процесу самоосвйти; 

— розробка програмно-1нструментальних засоб1в, що забезпечують функцону- 
вання адаптивного тестування. 

Ощнка якост! навчання е одним з основних чинникв шдвищення ефективност! 
освттнього процесу. В умовах забезпечення 1ндив1дуального шдходу до кожного 
учасника тестування дуже важливо коректно провести яюсний 1 юльюсний анал!з 
його знань 1 умпвь. Такий аналз е складною багатофакторною залежн1стю з великим 
числом зм!нних. Проведення под!бного анал!зу часто вимагае великих витрат сил 1 
часу на проведення статистичних розрахунюв. Ощшнювання якост! навчання 3 вико- 
ристанням комп’ютерних технолопй дозволяе значно скоротити час 1 витрати, шдвищуе 
1нформативнисть результатв. Тому дощшльно використовувати комп’ютерне адаптив- 
не тестування (КАТ) [3]. 


2. Основн! поняття та величини 
для адаптивного тестування 


Однопараметрична модель Раша 
Вводяться 2 основних параметри: 9 — латентний параметр равня знань учас- 


ника тестування 1 Ь — параметр складност! завдання. Для однопараметрично! модели 
(9-Ь,) 


Раша використовуеться формула правильно! в1дпов1д! на питання Р, (9) = Е 
1+е ' 


Ймоврнсть правильно! в1дпов1д! на питання залежить льки вд рзниц мж р1внем 
знань учасника тестування 1 складн1стю питання. Модель Раша не дозволяе питанням 
розразнятися за дискримпнащею: питання можна розташувати т1льки за равнем 1х 
складности. 
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Двопараметрична модель Раша 
Введемо початков! величини та поняття. Адаптивний тест складаеться 13 т питань. 
Нехай маемо зминн! в1дпов1д! И я як! можуть приймати значення 1, якщо 


в1дпов1дь правильна, 1 0, коли нев1рна, тобто 


О 0, якщо в1дпов1дь неправильна 


7 |1, якщо отримана правильна в1дпов!дь 


Лопстична модель з двома параметрами (2РТ, модель): 
а;(9-5;) 


р, =10)=—- 


+ ав” 2 
де а, — диференциююча здатнтсть тестового / завдання (коефицент дискримнацй), Б, — 
складнисть завдання /,0 — латентний параметр равня знань учасника тестування. 
Будемо мати на уваз1, що 1=1,2..; } =12,..п, т — мльюсть учасник!в тестування, 
п — юльюсть тестових завдань. 
Трипараметрична модель Б!рнбаума 


Зидно з трипараметричною лопстичною моделлю (ЗРГМ), ймоврныюсть правильноТ 
вдповд! Р(И, =[| 0) на / питання з р!внем знань 9 знаходиться за формулою 


1.7-а, (9-5, 


е 
РИ, = 0) =с,+А ЕТ (1) 


де с, — ймоврысть вгадування правильно! вдпов1д! при виконанн! / завдання. 


Разин! вибори оцшки латентного параметра шдготовленост! 9 

В адаптивному тестуванн! можливо використати три етапи ощ1нки знань: 

1 — ощнка знань, коли використовуеться процедура питання-в1дпов1дь; 

2 — ощнка знань, коли протягом тесту використовувався виб1р питань вдповд- 
но до параметра складности; 

3 — ощнка знань оголошуеться в к!нц! тесту [4]. 


3. Реаллзащя адаптивного тестування 
на основ! модел! Раша 


За допомогою модел! Раша можна на основ! тестувань визначити р1вн! склад- 
ностей тестових завдань. Як насл1док, питання, як! були задян! в тест!, можна 
розмстити на одшй шкал!. Але для шкалування вс1е1 сукупност! питань 13 бази теств 
не можна просто застосувати модель Раша. Адже для одного тесту зйснюеться 
лише вибтрка окремо! клькост! питань. Необхдною умовою для застосування модели 
Раша е те, що вс! вибран! завдання повинн! бути запропонован! кожному 13 студентив. 
В результат! ми отримаемо пильну матрицю результатв. Для шкалування наступно1 
(вдм!нно! вд попередньот) виб1рки питань на ту ж саму шкалу отримати лопти 
равн!в складност! недостатньо, тому що при наступному тестуванн! р1вн! знань сту- 
дент!в можуть в1дразнятись 1 навть склад групи дещо може разнитись в складу про- 
тестованих у попередньому тест. Тому нами було запропоновано метод кал!брування 
на основ! трьох опорних завдань 13 попереднього тесту. Таким чином, у результат! 
ск!нченно! клькост! поточних тестувань можна звести на одну шкалу вс! питання 3 
бази. Клльюсть таких експериментальних тестувань залежить в1д виб1рок. 
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Процес застосування даного методу зображено на схем! (рис. 1). 


Етап | 


Вибрка ту 


| ИХ Я Генеральна сукупнсть питань вльюсть питань = № 


Лопти рвыв 
складност! 
2" \ 


МВЕНЬГ ___----^^^  МВЕНЬНИ 2-7” РВЕНЬШ 


. ... ! ... 
ь ШКАЛА ЛОПТИВ зе 
1 


Процес визначення вузлових завдань 
< < о Е .- дет 


за й и 
< ъ: пни ини ни и ия ини мини нии 822 и 
.® ® ® о ву лов: завдання 


ра 


Етап П 


+! Вибрка мт >-3 
Генеральна сукупнгсть питань ХХХ юльнеть питань = №пи _| 
99+ |= | —  ВИКЛАДАЧ 


Результати ТЕ СТ 
Модель Логи Нов! лопти рАвнв 
Раша Е Пе складност! 


складности 


а = ШКАЛА ЛОГИМВ ини 


Процес визначення вузлових завдань 


> Й „и 


< 


Рисунок 1 — Процес шкалування тестових завдань генерально! виб1рки (1-П Етап) 
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Таким чином було сформульовано постановку задач! для практично! реал1заци 
методу визначення мтри складност! тестового завдання на основ! однопараметрично! 
модел! Раша. Для реаллзаци цього методу нами було створено програмний модуль до 
1снуючо! системи дистанщйного навчання за допомогою засоб1в РНР, який виконуе 
контроль над подачею тестових питань, опрацьовуе результати тестувань за допомогою 
методв, описаних вище, ставить у вдпов1днисть 1дентиф!катору питання значення 
лопта равня складности. Це дозволяе розмастити питання на однйй метричний шкал1. 

Алгоритм функцюнування такого модуля можна подати у вигляд! блок-схеми, 
яка зображена на рис. 2. 


Викладач 


НИЕ ЕР” “РАЗН 


} Вузлов! 
: питання 


РЕЗУЛЬТАТИ Категорля зважених 
питань 


НН ВАНА Во ВЕРЕН Е ИЗУЧИВ ЧЕ НЕЕ АРИЗ ОСИНА ЕН ИЧИЕ НСЕ 


МЕТРИЧНА ШКАЛА 


Рисунок 2 — Блок-схема програми 


На перших стад1ях функцпонування дистанщйного курсу формуеться перший 
тест для поточного тестування. Для тестового контролю в даному курс! викладач 
формуе категорй завдань, 13 яких будуть вибиратися завдання для тестувань. Для 
першого тесту викладач задае кльксть випадково в1д1браних завдань з цих катего- 
рай (рис. 3). На рисунку видно, що для тесту в1дабрано два завдання 13 категорий 1 1 
наб1р з десяти випадкових завдань з щ11 ж категори. 

Шсля цього формуеться нова категор1я «зважених» завдань, в котру ц1 завдання 
автоматично переносяться з наявних вже категорий. Вадбуваеться органйзоване тесту- 
вання. Шсля зак!нчення ми отримуемо пильну первинну матрицю результалив. Вона 
опрацьовуеться за допомогою модел! Раша. В результат! ми отримуемо масив лог!тв 
равн!в складност! цих завдань. 

При створенн! наступних теств викладач вибирае завдання 13 групи «незважених», 
що залишились в наявних категорлях. Таким чином, протягом поточних тестувань 
вичерпуеться вся генеральна сукупнсть тестових завдань, передбачених для даного 
курсу. Для того, щоб звести на одну шкалу лопти равнйв складност! завдань, задяних 
в другому тестуваннт, перед тестуванням в1дбуваеться процес визначення вузлових 
завдань. 
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РЕН 
Файл Правка Вид Избранное Сервис Справка Е 
Они - 9-Я Фо Дообыня фрныя 0 >И 
Адрес: |] ннр:ьгат.Е.рштоофетюд/амеечЕ.р6р `7| Е переход | Ссылки » 
ТИТО 'НЕРойз РТЕМЕМ ЕЯ СП = 
Порядок Назва питання Тип ОЩнка ДЯя Категория: | Саедогу_01 Е Редагувати категорй 
+ а 01 ЕП & =» 
гз а 02 ЕГ | аи» м О5ру дуезйопв от зи6-саедопез оо 
= Г Або зПому 019 диезНоп5 
тт Випадковий набр (Саедогу 01) 1 &=» 
т+ Випадковий набр (Саедогу_01) п &=» иезбопв 
т+ Випадковий набр (Саедогу_01) ? п &=» 
— Створити обрати 
й ? 
тт Випадковий набр (Саедогу 01} И &=» питання: 
т+ Випадковий набр (Саедогу_01) ? | &=» 1мпорт 8 файлу @ | Ехрой диезйопз 10 Ме @) 
ту Випадковий набр (Саедогу_01) | & =» - 
_ 2 Дя Назва питання Тип 
т+ Випадковий набр (Саедогу 01} 1 & =» «ажхг @а0 Е 
ту: Випадковий набр (Саедогу_01) эп &=» ««жхГгГ Я@ 02 И 
т +  Випадковий набр (Саедогу_01) п <» «аяхГг @03 
— ««жхГг @ 04 
т й 1 & — 
Випадковий набр (Саедогу_01) 8» «авхг а 05 
Пдсумок 12 «ажхг а 06 
Максимальна оцнка: |10 < «ажхг @а07 
Зберегти ощнки «аихГг Я 08 
««яхГг 909 
Г Зпом/ раде БгеаК$ ««жхГг 910 
«ажхг @11 Е 
«ажхГг @ 12 Е м 
Вибрати вс! / ФезеесЕ а! МУН зе@ес{е4: 
<< АЯ \0 Чи | Видалити | Моме 10 >> |[Савооу т |] 
АЗа [10 =] гапдогт диезНопз ___Дедати, з'еднати _ |) 
= 
Е] Готово [Баротпа гобока  Метозой: нога} | [| № местная интрасеть 


Рисунок 3 — Гнтерфейс викладача 


В даному експеримент! це значення логив, що набувають в1д’емного, близького 
до нуля, додатного значень в1дпов1дно. Фактично, тепер ц1 завдання вдпов1дають трьом 
равням складност. За допомогою результатв в1дпов1дей на ц! ж питання в другому 
тестуванн! ми можемо визначити поправку для визначення логиив, як! розмстяться 
на потр1бнй нам метричнй шкал!. Процес вибору 1 перемицення завдань мж 
категорями аналопчний до попереднього. В експеримент! нами було передбачено, що 
протягом поточних тестувань будуть зважен! вс! завдання з курсу 1 при шдсум- 
ковому тестуванн! можуть бути врахован! ваги питань. Таким чином, ми вирипуемо 
проблему неадекватности визначення равня знань студента. Маючи ломти, як! в!дпо- 
в1дають завданням на метричнйй шкал1, такий метод надае можливсть ощнити 
знання студента, враховуючи складнисть завдань, на як! в1н в1дпов!дав. 


Висновок 


Розроблена модель адаптивного тестування дозволяе ефективно визначати р1вень 
знань тих, хто тестуеться. Можна зробити узагальнення вс1х переваг комп’ютерного 
адаптивного тестування: 

1. КАТ уникае використання нев1дпов!дних питань. Питання, як! занадто легк! 
або занадто важк! для учасниюв тесту, можуть викликати небажане поводження. 
Вони в значнйй м1! усунут!. 

2. КАТ може бути коротшим в1д традищйного тестування. 

3. КАТ може бути швидшим та 1нформативнипим. Неправильно вибране пи- 
тання буде мати незначний вплив на тестов! результати. 

4. КАТ може бути чудовим засобом для правильного ощнювання учасника тес- 
ту 1 шдбирання питань, в1дпов1дних до равня знань. 

5. КАТ дозволяе кожному учаснику тесту працювати 1ндив!дуально. 

6. КАТ не потребуе спещального навчання учасник\в тесту. 
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7. КАТ пропонуе багато вартантйв для вибору 1ндив1дуального часу на вдпов!ль 
конкретного питання. 

8. КАТ зменшуе в учасниюкв тесту так! психологчн! фактори, як втома 1 
переживання. 

9. КАТ може зменшити час тестування на б1льше нж 50 % при шдтримщ того 
ж самого р1вня надйност! прийняття правильного ришення. 
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П.И. Федорук 

Использование адаптивных тестов в интеллектуальных системах контроля знаний 

В статье рассмотрено проблемы тестового контроля знаний в современных учебных системах. 
Методики и инструментарий классической теории тестов, несмотря на большие возможности данной 
технологии, не решают многих задач, которые ставит современный уровень развития образования. 
Адаптивные тесты в данном случае позволяют решать эти вопросы и могут быть эффективно 
использованы для решения любых задач оптимизации учебного процесса — оценки эффективности 
педагогических инноваций и технологий, мониторинга и т.д. Рассмотрено поход к конструированию 
тестов, который представлен в современной теории тестов на основе математической теории 
параметрической оценки тестових заданий на базе основных современных моделей: однопараметрической 
модели Раша, двупараметрической и трехпараметрической модели Бирнбаума. 


РА. РпейогиЕ 

'Тве Озасе о? Адарбуе Тез ш ПиеПесиа! Кпо\е@де Сопаго| Зузет5$ 

ТБе агасе геуеа]5 фе рго епт оЁ {езё Кпо\]Ле4зе сопго| шп то4еги едисайопа| езбаб тет. Мефо4$ 
ап шз@латеп$ оЁ с1а551с еогу араге 612 роззШ@ез 4о пой зо[уе тапу {азКз, фа{ о1уез тодегп 1еуе] оЁ 
едисайоп деуеортег. Адарйуе {е515 ш Ше э1уеп сазе [е{ и$ 10 зоЙуе Ше о1уеп диезйоп$ ап4 тау Бе изеа 
еЁеснуеу ог зо[ушз апу ‘а5Кз о [еагиш$ ргосез$ орипитайоп- еуаайоп оЁ еЁесйуепез$ о редагог1са1 
шпоуайоп$ апа {есбпо]о21ез, попИогие ес. Тве агасе дезсгез 1е арргоасВ {ю {е${ сопзбгасНоп \УШСЬ 15 
езспЬе4 т ве то4етп {е5( Феогу оп фе Баз15 оЁ тафетайса| Феогу оЁ рагатенлс еуашаНоп оЁ {ез1 (азКз 
оп Ше Базз оЁ шо4дег шаетайса|! по4е!5: операгатейлс то4е| ог ВизБ, б\орагатейлс апа 
Фгеерагатейлс то4де] оР Випбаит. 


Стаття надйиила до редакий 17.07.2008. 


«Штучний 1нтелект» 32008 387 


